CREATE EXTERNAL TABLE jms_dwd.`dwd_yarn_message_data_dt` (
yarn_app_id                         string  comment'yarnappid'
,yarn_user                          string  COMMENT "yarn用户名称"
,yarn_name                     string  COMMENT "yarn任务名称"
,yarn_queue                         string  COMMENT "yarn队列",
,yarn_type                           string  COMMENT "yarn任务类型",
,yarn_pre_start_time                 string  comment'yarn start_time'
,yarn_pre_end_time                   string  comment'yarn end_time'
,yarn_cores                           bigint  COMMENT "cpu核数"
,yarn_mems                            bigint  COMMENT "内存MB",
,yarn_usage                          string  COMMENT "使用占比"
,airflow_dag_id                         string comment 'dag'
,airflow_task_id                        string comment 'task_id不带日期'
,airflow_start_date_latest             string comment 'airflow同批次任务启动最后一次启动时间'
,airflow_start_date_earliest           string comment 'airflow同批次任务启动最早一次启动时间'
,airflow_end_date_latest               string comment 'airflow同批次任务启动最后一次结束时间'
,airflow_end_date_earliest            string comment 'airflow同批次任务启动最早一次结束时间'
,airflow_duration                       string comment 'airflow运行时间'
,airflow_run_id                         string comment 'airflow运行id'
,airflow_try_number                     string comment 'airflow运行id任务重试次数'
,airflow_max_tries                      string comment 'airflow运行id任务最大重试次数'
,airflow_hostname                       string comment 'airflowhostname'
,airflow_job_id                         string comment 'airflow运行id任务id'
,airflow_pool                           string comment 'airflow运行id资源池'
,airflow_pool_slots                     string comment 'airflow运行id占用的slot'
,airflow_queue                             string comment 'airflow设置队列'
,airflow_priority_weight                string comment 'airflow运行id队列权重'
,airflow_operator                       string comment '使用的airflow算子'
,airflow_queued_dttm                    string comment 'airflow任务的queued_dttm'
,airflow_queued_by_job_id               string comment 'airflow任务的queued_by_job_id'
,airflow_pid                            string comment 'airflow任务的pid'
,airflow_external_executor_id           string comment 'airflow任务的external_executor_id'
,airflow_num_executors                  string comment 'airflow任务设置executor的个数'
,airflow_executor_cores                 string comment 'airflow任务设置每个executor的核数'
,airflow_executor_memory                string comment 'airflow任务设置每个executor的内存'
,airflow_driver_cores                   string comment 'airflow任务设置每个driver的核数'
,airflow_driver_memory                  string comment 'airflow任务设置每个driver内存'
,airflow_yarn_queue                     string comment '使用的yarn的队列'
,airflow_memory_overhead                string comment 'airflow设置堆外内存'
,airflow_max_executors                  string comment 'airflow设置最大executors个数'
,airflow_spark_partitions               string comment 'airflow设置spark分区'
,airflow_get_yarn_name                  string comment 'yarn的name 可能为null'
,airflow_task_source                   string COMMENT '任务来源'
,airflow_task_name                     string COMMENT '任务名'
,airflow_task_owner                    string COMMENT '任务负责人'
,airflow_product_owner                 string COMMENT '产品负责人'
,airflow_task_status                   string COMMENT '任务状态(1: 上线  2: 下线 3：试运行)'
,airflow_modular                       string COMMENT '模块'
,airflow_modular_one                   string COMMENT '一级菜单'
,airflow_modular_two                   string COMMENT '二级菜单'
,airflow_statistical_type              string COMMENT '统计类型'
,airflow_report_type                   string COMMENT '报表类型'
,airflow_expect_start_time             string COMMENT '期望开始时间(时分秒)'
,airflow_expect_end_time               string COMMENT '期望结束时间(时分秒)'
,airflow_is_important                  string COMMENT '是否重点任务 0:否、1: 是'
,airflow_task_level                    string COMMENT '任务优先级：p2p1p0'
,airflow_is_assess                     string COMMENT '是否考核数据 0:否、1: 是'
,airflow_is_perfect                    string COMMENT '是否完善1:已维护、2: 未维护'
,airflow_update_frequency              string COMMENT '更新频率'
,airflow_business_department           string COMMENT '业务部门'
,airflow_update_days                   string COMMENT '回刷天数'
,airflow_task_resource                 string COMMENT '任务所需资源'
,airflow_remark                        string COMMENT '备注'
,airflow_front_owner                   string COMMENT '前端负责人'
,airflow_back_owner                    string COMMENT '后端负责人'
,airflow_is_delete                     string COMMENT '数据状态1:未删、2: 已删'
,airflow_create_user_id                string COMMENT '创建人id'
,airflow_create_time                   string COMMENT '创建时间'
,airflow_update_user_id                string COMMENT '修改人id'
,airflow_update_time                   string COMMENT '修改时间'
,airflow_task_owner_account            string COMMENT '任务负责人账号'
,airflow_max_source_end_date           string comment '上游任务中最晚执行时间'
,airflow_max_source_task_id            string comment '上游任务中最晚的任务id'
,airflow_source_task_ct                string comment '上游任务数'
,airflow_trigger_task_id               string comment '上游任务中的定时器'
,airflow_dag_schedule_interval         string comment 'dag的启动时间规则'
,airflow_dag_start_date                string comment '任务所在dag实际执行开始时间'
,airflow_dag_end_date                  string comment '任务所在dag实际执行结束时间'
) COMMENT '登录日志表'
PARTITIONED BY (
  `dt` string COMMENT '创建日期 (yyyy-MM-dd)')
stored as parquet
location '/dw/hive/jms_dwd.db/external/dwd_yarn_message_data_dt'